Fils du comte Meyer Joseph Cahen d'Anvers (1804-1881) et de Clara Bischoffsheim (1810-1876), il épousa Louise de Morpurgo (1845-1926).

Celle-ci "était issue d'une riche et prestigieuse famille séfarade qui avait fait de Trieste la capitale des assurances dans l'Europe centrale (...) seule grande ville maritime de l'empire des Habsbourg" (Pierre Assouline, "Le Dernier des Camondo" Gallimard, 1997, p.155).

Amie de Marcel Proust, elle fut la maîtresse de Charles Ephrussi et du futur roi Alphonse XIII d'Espagne (1902).

Le couple eut cinq enfants :

Robert (1871-1931), époux de Sonia Washawsky, fut banquier comme son père;

Irène (1872-1963), épouse en 1891, à 19 ans, du comte Moïse de Camondo - séparés en 1896 et divorcés en 1902 - puis comtesse ;

Elisabeth (1874-1944), épouse du comte de Forceville puis d'un Denfert-Rochereau, fut, malgré une conversion de 50 ans au catholicisme, arrêtée en raison de ses origines juives "et disparut quelque part entre entre Drancy et Auschwitz " ( P.Assouline, op.cit., p.273);

Alice (1876-1965), épouse du général anglais sir Charles Vere Fergers, puis lord Townsend of Kut;

Charles (1879-1957), époux de Suzanne Lévy, fut également banquier.

La famille réside d'abord 66, avenue Montaigne à Paris, puis dans un hôtel particulier 2, rue de Bassano, à l'angle de la place des Etats-Unis, que les Cahen d'Anvers font construire en 1880 par Gabriel-Hippolyte Destailleur, en style Louis XIV.

"C'est là qu'ils vivaient avec leurs cinq enfants, une domesticité nombreuse, une collection de vases de Chine bleus, des lambris provenant de l'ancien hôtel de Mayenne, des objets d'art des XVII et XVIIIèmes siècles, et des tableaux. Les peintres Bonnat et Carolus-Duran furent commissionnés pour réaliser des portraits du comte et de la comtesse (musée Bonnat, Bayonne). Mais c'est à Renoir qu'il échut d'exécuter ceux des filles (...) Mécontents du travail, ils firent accrocher les deux tableaux dans les communs de leur hôtel et firent remettre 1 500 francs au peintre". (op. cit.)

Le portrait d'Irène, nommé par les connaisseurs "la petite fille au ruban bleu" (64 x 54 cm) exécuté en deux séances de pose, fut exposé deux ans après à la galerie Durand-Ruel et connut un destin curieux; volé en 1941 au château de Chambord par les nazis, confisqué par Goering à titre d'échange, puis négocié par le marchand Walter Feuz pour le compte d'Emil Burhle, industriel et collectionneur d'origine allemande naturalisé suisse en 1937, à la tête de la société Oerlikon, fournisseur de la Wermacht (fondation Burhle, Zurich), qui acquit une douzaine d'autres oeuvres ainsi confisquées.

Reconnu en 1946 par son modèle, seule héritière de sa fille Béatrice Reinach, née Camondo - morte en déportation avec les siens - dans une exposition parisienne d'oeuvres volées, il lui fut restitué et elle le vendit enfin à un galeriste parisien qui le céda à...Burhle. (Pierre Assouline, "Le dernier des Camondo", Gallimard, 1997).

En 1895, les Cahen d'Anvers acquérirent le château de Champs-sur-Marne, ancienne demeure du financier Poisson de Bourvalais, du duc de de La Valière et de la marquise de Pompadour, alors en fort mauvais état, qu'ils firent entièrement restaurer et remeubler à grands frais par Walter-André Destailleur, pour les bâtiments et Achille Duchêne, pour les jardins, redessinés "à La Française". Le parc est orné de nombreuses copies de statues et agrémenté d'une orangerie.

Ils y reçurent de nombreuses personnalités dont Marcel Proust, Isadora Duncan, Paul Bourget, le roi d'Espagne Alphonse XIII. Donné à l'Etat en 1935, le château sert depuis de résidence à ses hôtes de marque

Ils possédèrent également le château de "La Jonchère" à Bougival.